[速報] 推論パフォーマンスの最大化とコストの最小化を実現するAmazon SageMaker Inference Recommender が発表されました！ #reinvent

こんばんは！ラスベガスの現地からre:Invent参加中のCX事業本部MAD事業部のYui(@MayForBlue)です！

先ほどまで機械学習のKeynoteに参加していました！その中でAmazon Sagemaker の インフラのイノベーションを加速させる新機能のひとつとして Amazon SageMaker Inference Recommender が発表されたので速報をお伝えします！

Amazon SageMaker Inference Recommender とは

Amazon SageMaker Inference Recommenderは、最適な推論パフォーマンスとコストを実現するために機械学習モデルのデプロイに最適な利用可能なインスタンスタイプと構成を選択するサービスです。

Amazon SageMaker Inference Recommenderは推論のための適切なインスタンスタイプ、インスタンス数、コンテナパラメータ、およびモデルの最適化を自動的に選択します。これによりパフォーマンスを最大化しながらコストの最小化することができます。

Amazon SageMaker Inference Recommender は、SageMaker Studio、AWS Command Line Interface (CLI)、または AWS SDK から利用することができ、数分後には ML モデルをデプロイするための推奨事項を得ることができます。
その後、選択したインスタンスタイプのセットでフルマネージドな負荷テストを実行できます。その結果をSageMaker Studioで確認し、レイテンシー、スループット、コストのトレードオフを評価して、最も最適なデプロイメント構成を選択するといったことが可能です。

利用可能なリージョン

SageMakerが利用可能なすべてのリージョンで既に利用可能です！（中国のリージョンを除く）

公式ブログ

Introducing Amazon SageMaker Inference Recommender